在持续学习中使用神经网络中的任务特定组件(CL)是一种令人信服的策略,可以解决固定容量模型中稳定性 - 塑性困境,而无需访问过去的数据。当前方法仅着重于选择一个新任务的子网络,以减少忘记过去任务。但是,这种选择可能会限制有助于将来学习的相关过去知识的前瞻性转移。我们的研究表明,当统一的分类器用于所有类别的任务课程学习(class-il)时,共同满足这两个目标是更具挑战性的,因为这很容易跨越任务之间的类之间的歧义。此外,当跨任务的课程相似性增加时,挑战就会增加。为了应对这一挑战,我们提出了一种名为AFAF的新CL方法,旨在避免忘记并允许使用Fix-apainality模型在IL类中向前转移。 AFAF分配了一个子网络,该子网络可以选择性地转移相关知识到新任务,同时保留过去的知识,重复一些先前分配的组件以利用固定容量,并在存在相似之处时解决类型。该实验表明,AFAF在为模型提供多种CL所需属性方面的有效性,同时在具有不同语义相似性的各种具有挑战性的基准上优于最先进的方法。
translated by 谷歌翻译
最近对稀疏神经网络的作品已经证明了独立从头开始训练稀疏子网,以匹配其相应密集网络的性能。然而,识别这种稀疏的子网(获奖票)涉及昂贵的迭代火车 - 培训 - 培训过程(例如,彩票票证假设)或过度扩展的训练时间(例如,动态稀疏训练)。在这项工作中,我们在稀疏神经网络训练和深度合并技术之间汲取了独特的联系,产生了一个名为FreeTickets的新型集合学习框架。 FreeTickets而不是从密集的网络开始,随机初始化稀疏的子网,然后在动态调整其稀疏掩码的同时列举子网,从而在整个训练过程中产生许多不同的稀疏子网。 FreeTickets被定义为这些稀疏子网的集合,在这种单次通过,稀疏稀疏训练中自由获得,其仅使用Vanilla密集培训所需的计算资源的一小部分。此外,尽管是模型的集合,但与单一密集模型相比,FreeTickets的参数和训练拖鞋更少:这种看似反向直观的结果是由于每个子网的高稀疏性。与标准致密基线相比,观察到惯性基因术,以预测准确性,不确定度估计,鲁棒性和效率相比表现出显着的全面改进。 FreeTickets在ImageNet上只使用后者所需的四分之一的培训拖鞋,可以轻松地表达Naive Deep EndleBe。我们的结果提供了对稀疏神经网络的强度的见解,并表明稀疏性的好处超出了通常预期的推理效率。
translated by 谷歌翻译
Lung segmentation in chest X-rays (CXRs) is an important prerequisite for improving the specificity of diagnoses of cardiopulmonary diseases in a clinical decision support system. Current deep learning (DL) models for lung segmentation are trained and evaluated on CXR datasets in which the radiographic projections are captured predominantly from the adult population. However, the shape of the lungs is reported to be significantly different for pediatrics across the developmental stages from infancy to adulthood. This might result in age-related data domain shifts that would adversely impact lung segmentation performance when the models trained on the adult population are deployed for pediatric lung segmentation. In this work, our goal is to analyze the generalizability of deep adult lung segmentation models to the pediatric population and improve performance through a systematic combinatorial approach consisting of CXR modality-specific weight initializations, stacked generalization, and an ensemble of the stacked generalization models. Novel evaluation metrics consisting of Mean Lung Contour Distance and Average Hash Score are proposed in addition to the Multi-scale Structural Similarity Index Measure, Intersection of Union, and Dice metrics to evaluate segmentation performance. We observed a significant improvement (p < 0.05) in cross-domain generalization through our combinatorial approach. This study could serve as a paradigm to analyze the cross-domain generalizability of deep segmentation models for other medical imaging modalities and applications.
translated by 谷歌翻译
使用深度学习方法(DL)方法的结核病(TB)自动分割(TB) - 一致的病变(CXR)可以帮助减少放射科医生的努力,补充临床决策,并有可能改善患者治疗。文献中的大多数作品使用粗边界框注释讨论培训自动分割模型。但是,边界框注释的粒度可能导致在像素级别上包含相当一部分假阳性和负面因素,从而可能对整体语义分割性能产生不利影响。这项研究(i)评估了使用TB一致性病变的细粒注释和(ii)U-NET模型变体的培训和构造的好处CXR。我们使用多种集合方法(例如位和位或位,位 - 最大值和堆叠)评估了分割性能。我们观察到,与单个组成模型和其他集合方法相比,堆叠合奏表现出优异的分割性能(骰子得分:0.5743,95%置信区间:(0.4055,0.7431))。据我们所知,这是第一个应用合奏学习来改善细粒度元素一致性病变细分性能的研究。
translated by 谷歌翻译
在过去的二十年中,已经采用了过采样来克服从不平衡数据集中学习的挑战。文献中提出了许多解决这一挑战的方法。另一方面,过采样是一个问题。也就是说,在解决现实世界问题时,经过虚拟数据训练的模型可能会出色地失败。过采样方法的根本困难是,鉴于现实生活中的人群,合成的样本可能并不真正属于少数群体。结果,在假装代表少数群体的同时,在这些样本上训练分类器可能会导致在现实世界中使用该模型时的预测。我们在本文中分析了大量的过采样方法,并根据隐藏了许多多数示例,设计了一种新的过采样评估系统,并将其与通过过采样过程产生的示例进行了比较。根据我们的评估系统,我们根据它们错误生成的示例进行比较对所有这些方法进行了排名。我们使用70多种超采样方法和三种不平衡现实世界数据集的实验表明,所有研究的过采样方法都会生成最有可能是多数人的少数样本。给定数据和方法,我们认为以目前的形式和方法对从类不平衡数据学习不可靠,应在现实世界中避免。
translated by 谷歌翻译
经典的双赢有一个关键的缺陷,因为它不能为各方提供适当的获胜,因为每一方认为他们是赢家。实际上,一方可能比另一方赢得更多。该策略不仅限于单一产品或谈判;它可以应用于生活中的各种情况。我们提出了一种衡量本文双赢的新颖方式。该方法采用模糊逻辑来创建一个数学模型,援助谈判者量化其获胜百分比。该模型采用现实生活谈判的考验,如伊朗铀浓缩谈判,伊拉克 - 约旦石油交易和铁矿石谈判(2005-2009)。呈现的模型在实践中表明是一种有用的工具,并且可以容易地广泛地在其他域中使用。
translated by 谷歌翻译
向数据中心AI的转换需要从数学和实现立场重新探测数据概念,以获取统一的数据中心学习包。为此,这项工作提出了由数据的分类和科钦概念提供的统一原则,并探讨了这些原则在以数据为中心的AI转型中的重要性。在分类概念中,数据被视为我们通过态度来保护这种结构的数学结构。对于Cochain概念,可以将数据视为在感兴趣的离散域中定义的函数,并通过运算符进行行为。虽然这些概念几乎正交,但它们提供了查看数据的统一定义,最终影响机器学习包的开发,实现和使用从业者使用的方式。
translated by 谷歌翻译
医学图像通常表现出多种异常。预测它们需要多级分类器,其培训和期望的可靠性性能可能受到因素的组合而影响,例如数据集大小,数据源,分布以及用于训练深度神经网络的损耗功能。目前,跨熵损失仍然是培训深层学习分类器的脱磁场损失功能。然而,这种损失函数断言所有课程的平等学习,导致大多数类的偏见。在这项工作中,我们基准测试适用于多级分类,重点分析模型性能的各种最先进的损失功能,并提出改善的损失功能。我们选择一个小儿胸部X射线(CXR)数据集,其包括没有异常(正常)的图像,以及表现出与细菌和病毒性肺炎一致的表现形式的图像。我们分别构建预测级别和模型级集合,以提高分类性能。我们的结果表明,与个别模型和最先进的文献相比,前3名和前5个模型级集合的预测的加权平均在术语中提供了显着优越的分类性能(P <0.05) MCC(0.9068,95%置信区间(0.8839,0.9297))指标。最后,我们进行了本地化研究,以解释模型行为,以便可视化和确认个人模型和集合学习有意义的特征和突出显示的疾病表现。
translated by 谷歌翻译